Thuật ngữ Catholic - bắt nguồn từ chữ καθολικός (katholikos) trong tiếng Hy Lạp[11][12]., có nghĩa là "phổ quát", "chung" - lần đầu tiên được sử dụng để mô tả về Giáo hội từ những năm đầu Thế kỷ thứ II. Chữ Katholikos là biến thể từ chữ ‘’καθόλου’’ (katholou) do sự kết hợp giữa hai từ κατὰ ὅλου (kata holou), có nghĩa là "theo như toàn bộ". Từ nguyên nói trên được dịch sang tiếng Việt là "Công giáo". Như vậy tên gọi Giáo hội Công giáo có nghĩa là "Giáo hội phổ quát".

Kể từ sau cuộc Ly giáo Đông - Tây năm 1054, một số giáo hội vẫn còn giữ lại sự hiệp thông với Tòa Rôma (gồm giáo phận Rôma, Giám mục của giáo phận này là Giáo hoàng, tức thượng phụ giáo chủ tối cao) và vẫn dùng danh xưng là "Công giáo". Trong khi đó, các giáo hội khác ở phía Đông bắt đầu từ chối thẩm quyền tối cao của Giáo hoàng và họ coi giáo hội của mình mới là giáo hội "chính thống" kế thừa nguyên thủy từ thời Chúa Giêsu, vì vậy mới xuất hiện danh xưng "Chính Thống giáo Đông Phương". Sau cuộc Cải cách Kháng Cách hồi Thế kỷ XVI, các giáo hội "hiệp thông với Giám mục Rôma" vẫn tiếp tục để sử dụng từ "Công giáo" để chỉ chính mình, nhằm phân biệt với các giáo phái đã tách ra, mà thường được biết đến với tên gọi là Tin Lành.

Có không ít sự bất đồng về cách dùng từ giữa "Giáo hội Công giáo Rôma" và "Giáo hội Công giáo", nguyên nhân là do một vài nhánh Kitô giáo khác cũng tuyên bố họ là "Công giáo" (nghĩa là tôn giáo phổ quát).[12] Đặc biệt, Chính thống giáo Đông phương thích áp dụng thuật ngữ "Giáo hội Công giáo Rôma" để chỉ rõ trung tâm giáo hội này ở Rôma, nhằm phân biệt với các giáo hội Đông phương có trung tâm ở Constantinopolis (nay là Istanbul). Nhiều người Công giáo thích gọi ngắn gọn là "Công giáo" thay vì "Công giáo Rôma".[13]

Thuật từ "Giáo hội Công giáo" là cách gọi phổ biến nhất được dùng trong các văn kiện chính thức của Giáo hội,[14] cũng là thuật từ mà Giáo hoàng Phaolô VI dùng khi ký các văn kiện của Công đồng Vatican II.[15] Tuy nhiên, cả các văn kiện xuất bản bởi Tòa Thánh[16] và một số Hội đồng Giám mục[17] đôi khi cũng dùng cách gọi "Giáo hội Công giáo Rôma".